Inpainting /區域性修補

區域性修補是一種允許使用者對特定內容區域進行調整的功能,而無需影響整體內容。它讓 AI 能像編輯助手一樣,直接與使用者內容互動,使使用者能夠控制內容的特定部分,而不是整篇重生或全盤調整。

定義與應用場景

區域性修補適用於所有型別的內容,可以用於現有內容的微調,也可在生成過程中對 AI 產出進行重混。例如:

  1. 文字編輯:
    • 使用者寫作時,可以讓 AI 調整某一段落的語氣,以更符合整體基調。
    • AI 生成的文字中,使用者可以直接指示 AI 對特定部分進行修改。
  1. 視覺或音訊生成:
    • 在影象生成中,使用者可選擇特定區域並應用新的 token,僅修改這一部分。
    • 在音訊生成中,可對指定片段的節奏或音調進行區域性調整。

典型案例:Adobe Firefly 和 Notion:分別在圖片和文字的區域性修補中提供了直觀的介面和提示,幫助使用者輕鬆調整內容。

最佳實踐 (Best Practices)

區域性修補的關鍵在於保持使用者的主導地位。AI 不直接更改原始內容,而是根據使用者指示提供改進建議,使用者可選擇接受、拒絕或再次調整。以下為幾種有效的實踐方法:

1 明確可用性:介面需要清楚顯示區域性修補功能的存在。例如:

2 簡化使用者操作:使用者操作需要儘可能直觀:

3 便捷的結果審查:使用者需能快速檢視多個改進選項後再決定是否接受:

細節與變體 (Details and Variations)

區域性修補的核心流程是“識別 - 應用 - 調整 - 審查”。以下是該流程在實際操作中的關鍵設計要素:

  1. 功能識別:
    • 例如,Adobe Firefly 的“Generative Fill”功能在主介面顯眼標註,方便使用者發現。
    • Notion 在使用者選擇內容時顯示互動選項,明確提示 AI 功能的存在。
  1. 使用者調整的靈活性:
    • 工具應既支援特定區域選擇(如刷子工具選擇影象部分),也支援使用者自由調整提示指令。
    • 預設操作應降低使用者負擔,提供明確的引導。
  1. 多版本結果支援:
    • 提供多種變體結果,確保使用者能在接受前清楚對比。例如:
      • MidJourney 提供四種版本供選擇。
      • Adobe 支援使用者在接受前檢視區域性放大的新影象。

優勢 (Positives)

  1. 使用者主導性:
    • AI 的所有修改建議需經使用者審查確認,確保不會擅自更改原始內容。
    • 使用者始終掌握內容的最終決策權,增加工具的可信度。
  1. 迭代改進:區域性修補降低了使用者必須在初始提示中“完美表述”的壓力。使用者可透過逐步調整實現滿意的結果。

風險 (Potential Risks)

1 變更記錄問題:一旦使用者接受更改,修改將無縫整合到原始內容中,這可能導致難以追蹤的版本問題:

2 使用者依賴與誤用:使用者可能過於依賴 AI 修改,而忽略原始意圖,需透過透明的審查流程避免這種風險。

GitHub Copilot透過與使用者的對話在聊天視窗中提供程式碼建議,並允許使用者將生成的程式碼直接內聯插入到檔案中。(這種設計結合了實時互動和直接操作,使用者可以根據對話中的反饋快速調整程式碼,最佳化開發體驗。)

GitHub Copilot還支援直接內聯提示,將其作為一種程式碼補全(inpainting)的形式應用。(這種功能透過在程式碼上下文中直接插入提示,幫助使用者高效地補全或修改特定程式碼片段。)

Grammarly允許使用者透過選擇文字後使用新的識別符號(tokens)、提示(prompts)和引數對其進行改寫或補充。(這種內聯編輯功能讓使用者能夠精準調整特定文字片段,同時獲得更符合需求的語言最佳化建議。)

MidJourney的內聯選擇功能允許使用者針對特定區域調整提示。(透過這種設計,使用者可以對影象的區域性區域進行精細控制,從而生成更符合期望的影象效果。)

Adobe Firefly透過將選定區域顯示為透明,向使用者提供重新生成該區域的功能提示。(這種互動設計透過視覺化的反饋,明確使用者操作範圍,同時讓影象修改變得更加直觀和可控。)

Udio允許使用者調整歌曲的特定片段。(這種功能為使用者提供了對音訊內容的精細控制,例如剪輯、調整音調或風格,從而滿足個性化編輯需求。)